Năm 1954 khi kết thúc cuộc kháng chiến chống Pháp, Trung ương Đảng quyết định lập Ban Chỉ đạo khu vực tập kết 300 ngày tại Hải phòng, chỉ định Đỗ Mười làm trưởng ban, cùng với Hoàng Hữu Nhân, Hoàng Mậu, Nguyễn Tài, Nguyễn Đàm, Bùi Công Trừng, Lý Ban, Nguyễn Công Thành, Nguyễn Văn Ngọc, và đại diện Bộ Quốc phòng. [cần dẫn nguồn]

Tháng 12 năm 1956 ông được bổ nhiệm làm Chủ tịch Ủy ban Hành chính Thành phố Hải phòng, [3] các Phó Chủ tịch là Vũ Trọng Khánh (nguyên Thị trưởng Hải Phòng năm 1945) và Tô Duy (nguyên Bí thư Tỉnh ủy Kiến An). Ông kiêm Bí thư Thành ủy thay ông Đỗ Mười chuyển về Hà Nội làm Thứ trưởng Bộ Nội thương.

Tháng 5 năm 1955 Hải phòng được giải phóng. Những ngày đầu giải phóng, Hải Phòng-Kiến An gặp rất nhiều khó khăn do chế độ cũ và chiến tranh để lại. Công nghiệp và thương nghiệp bị thu hẹp, thậm chí đình đốn, vùng nông thôn Kiến An và ngoại thành Hải Phòng xơ xác, tiêu điều. Là đầu mối giao thông, song luồng lạch, cảng biển không được nạo vét, đường sá xuống cấp nghiêm trọng, giao thông ách tắc…Tình hình văn hoá-xã hội khá phức tạp; nhiều tệ nạn do chế độ cũ để lại; hàng vạn công nhân, lao động không có việc làm…Các lực lượng phản động vẫn tiếp tục nuôi âm mưu phá hoại lâu dài cách mạng Việt Nam, trong đó, Hải Phòng là một trọng điểm.

Trong những năm xây dựng cơ sở kinh tế xã hội chủ nghĩa ở miền bắc, là lãnh đạo thành phố, ông đã góp phần lớn vào việc chỉ đạo xây dựng kinh tế chính trị xã hội của thành phố. Đặc sắc nhất là Hải Phòng đã thành công trong việc phát triển cơ sở hạ tầng từ nền công nghiệp cũ và xây dựng nhiều cơ sở mới trong các lĩnh vực cơ khí, tàu thủy, cảng, giao thông vận tải và thủy sản.

Năm 1955 thành phố chỉ có 8 xí nghiệp. Sau đó nhiều cơ sở sản xuất mới được phục hồi, mở rộng như: mở rộng Cảng Hải phòng, mở rộng Nhà máy Xi măng Hải phòng, xây dựng Nhà máy đóng tàu Bạch Đằng, cơ khí Duyên Hải, thuỷ tinh, nhựa Thiếu niên tiền phong. Đến năm 1965 giá trị tổng sản lượng công nghiệp tăng 2.158% so với năm 1955 là năm mới tiếp quản thành phố.

Hải phòng là thành phố cảng, cửa chính ra biển quan trọng của Việt Nam lúc đó. Ngay năm đầu tiên sau giải phóng, Cảng Hải Phòng đã nạo vét gần 2 triệu m3 đất, tạo điều kiện cho hoạt động của Cảng trở lại bình thường. Hàng năm bình quân có trên 400 tàu của các nước đến cảng Hải Phòng. Sản lượng xếp dỡ hàng hoá tăng gấp 15 lần so vơi thời kỳ mới giải phóng. Tàu Việt Nam trọng tải 5.000 tấn, 10.000 tấn từ cảng Hải Phòng đi nhiều nước trên thế giới.

Năm 1960, Hải Phòng mới có 5 hợp tác xã đánh cá; Năm 1965 tăng lên 33 hợp tác xã. Đội ngũ cán bộ khoa học ngành cá không ngừng phát triển. Năm 1955 không có kỹ sư; năm 1973 có 10 cán bộ đại học, 17 cán bộ trung cấp kỹ thuật và 92 công nhân kỹ thuật. Sản lượng đánh bắt tăng hàng năm. Năm 1961 đạt 11.886 tấn sản phẩm.

Tháng 2/1962 thành phố Hải Phòng và tỉnh Kiến An hợp nhất thành Thành phố Hải Phòng, ông được cử làm Bí thư Thành ủy, ông Đặng Văn Minh làm Chủ tịch Ủy ban hành chính Thành phố Hải Phòng khóa II.[4], năm 1963 tại Đại hội Đảng bộ thành phố Hải phòng lần thứ nhất ông được bầu làm Bí thư Thành ủy, các Phó bí thư là ông Đặng Văn Minh, ông Lê Huy (nguyên Bí thư Tỉnh ủy Kiến an)

Ông mạnh tay cải cách và thích nói thẳng, nói thật. Năm 1962 ông khởi xướng khoán Kiến An, ở hai huyện Vĩnh Bảo và Kiến Thuỵ (thuộc tỉnh Kiến An cũ) đến từng hộ nông dân được tiến hành một cách không chính thức được lãnh đạo hai huyện nói trên ủng hộ. Năm 1963, hội nghị tỉnh đảng bộ cho phép thực hiện lối khoán đó như một mô hình thì điếm. Mãi 20 năm sau ông Đoàn Duy Thành khuấy động lại phong trào khoán và trở thành người tiên phong đổi mới

Năm 1964 ông trúng cử đại biểu Quốc hội Việt Nam khóa III tại khu vực thành phố Hải phòng.[5] Ông tiếp tục giữ cương vị Bí thư Thành ủy Hải Phòng cho đến năm 1966 thì ông Đặng Văn Minh kế nhiệm.

Ông được xem là những nhà lãnh đạo giỏi của Thành phố Hải phòng cùng với ông Đoàn Duy Thành. Ông quan tâm đến người dân, giới trí thức văn nghệ sĩ,[6], giúp đỡ nhiều người trong đó có nhà văn Bùi Ngọc Tấn.